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Abstract 



Method of improving image segmentation of a video telephone scene 

The transmission bitrate of a video telephone scene is to be reduced by means of 
J image segmentation, in which only the foreground information represented by the moving 
recording object' needs to be transmitted. The essentially stationary background information 
can be taken from a memory. 

For a better separation of foreground information from background information, 
distance vectors are derived from the known distance-dependent offset of the object contours 
of two stcreoscopically recorded television images in accordance with the methods hitherto 
known for determining motion vectors. Only distance vectors as from a giveri Value are used 
for the subsequent image-processing operation. A further accentuation of the recording object 
can be achieved by means of optical systems sharply imaging only the foreground- The 
foreground may also be accentuated by masking the out-of-focus of the background (Fig: 3). 



Claims 

1 . A method of improving image segmentation of a video telephone scene into variable 
foreground information, which is represented by the moving recording object, and 
essentially stationary background information, which is to be transmitted only once, 
characterized in that two juxtaposed cameras ()0) first stereoscopically pick up two 
television images of the same object in known manner, in that subsequently, in 
accordance with a known method of determining motion vectors, each pixel is provided 
with a distance vector on the basis of the distance-dependent offset of the contours of 
both images of the recording object, which distance vector is reciprocal to the distance 
between the camera and the recording object, and in that only the distance vectors as from 
a given vaiue are used for the subsequent image-processing operation. 

2. A method as claimed in claim I, characterized in that a further accentuation of the 
recording object is achieved by means of an optical system in the pick-up camera sharply 
imaging only the foreground (pig. 3). 

3. A method as claimed in claims 1 and 2, characterized in that the foreground is 
accentuated by masking the out-of-focus of the background. 

4. A method as claimed in claim 1, characterized in that the distance vectors are determined 
in accordance with the block -matching method. 

5 . A method as claimed in claim I, characterized in that the distance vectors are determined 
in accordance with differential methods. 
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Description 



The invention relates to a method as defined in the precharacterizing pan of claim I. 

The Figure elucidates the object of the invention. It shows a typical video telephone 
scene comprising, in the foreground, the interlocutor's head represented as circles 3 and 4 and 
moving in the direction indicated by the arrow 5, while - apart from the circumstances dealt 
with hereinafter - the background 1 remains unchanged. When the head in the foreground 
moves from the broken-line position 3 to the extended position 4, previously covered areas of 
the baclcgroun4 { will become visible. The head's movement thus results in a change of the 
image in the areas 3 and 4. 

Relatively simple segmentation methods allow distinction between stationary 
backgrounds and area changes. However, there are already segmentation methods in which 
the moving objects are separated from the background areas that become visible as a result of 
the movement (Klie I "Codierung von Fernsehsignalen fur niedrige Ubertragingsbitraten" 
Thesis, Technical University of Hannover, 1978). 

The gray values of the changed image areas are transmitted as relevant information to 
the receiver; the stationary background - being unchanged from image to image - is taken 
from a background memory and does not constitute a load for the transmission channel In 
order that the receiver inserts the changed and transmitted image areas into the right position 
in the stationary background again, distance measurements up to an image edge, referred to 
as addresses, are also transmitted and evaluated by the receiver. This method is known as 
conditional replenishment. 

The data stream loading the channel is thus constituted by the information described 
by the moving head and the background that becomes visible, and by the address information. 
To further reduce the resultant data rate, the document cited proposes to further reduce the 
detail resolution within mbvihg objects byway of low^pass filtering. This is based on the 
consideration that the human eye easily tolerates the blurred display of moving objects. The 
method is implemented in such a way that the low-pass filtering operation is speed- 
controlled, i.e. more details are displayed upon slower movements than upon fester 
movements. 

The method has some drawbacks, leaving the following problems unsolved; 

The segmentation into background, into moving and into unchanged image areas is 
inadequate: difficulties occur when the overall image is changed due to luminance control of 
the video camera, when motion is simulated due to superimposed background noise, and 
when deep shadows in the background, detected as image-to-image changes, require 
transmission of information which is irrelevant to the conversation. 

The background structures that become visible constitute a major part of the image 
information to be transmitted . 

If motion estimation methods are used to improve the interpolation of partial images 
that have been left out, or to improve a prediction algorithm, background structures will cause 
problems at the contours of moving objects. 
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It is an object of the invention to obviate these drawbacks by improving the 
segmentation. 

Fig. 2 shows a typical video telephone scene in a plan view. The person 8 conducting 
the conversation is sitting in front of the pick-up camera 6 and sees his interlocutor on a 
display unit 7. This typical scene can be unambiguously divided into a foreground (head- 
shoulder image of the speaking person) 8 and a background 9; it is thus principally possible 
to also make a distinction with technical means. 

The characteristic features defined in the claim realize this distinction. Advantageous 
implementations of the segmentation method are defined in the dependent claims. 

The segmentation method according to the invention has the advantage that an 
unambiguous identification of pixels associated with the recording object is possible by way 
of the distance vectors, so that the background parts becoming visible by movement of the 
recording object can be excluded from the image-processing operation because of their too 
small distance vectors. The additional special implementation of the optical system of the 
pick-up camera enhances this effect 

The invention will hereinafter be elucidated by way of 3 Figures. Fig. 1, already 
described, shows the object of the invention, Fig. 2, also described, shows the typical video 
telephone scene in a plan view, Fig. 3 shows the camera arrangement for performing the 
method according to the invention, and Fig. 4 shows the associated block diagram. 

Fig. 3 shows a video telephone scene which is similar to that in Fig. 2. It differs in that 
2 cameras 10 are juxtaposed, both of which are provided with an optical system which can be 
automatically focused to the foreground. One of the two cameras only needs to be suitable for 
black and white but should otherwise have the same optical properties as the other camera. 
Technical variants of this principal arrangement, e.g. only one pick-up camera with a double 
objective, are feasible. 

When the images of the left and the right camera are caused to register, the contours . 
of the recorded objects show an offset, with those of the foreground being mutually offset to 
a stronger extent than those of the background. Technically, the offset can be determined by 
means of the same methods as are also used in motion estimation for computing motion 
vectors. Essentially, the block-matching and differential methods have emanated therefrom. 

In the known displacement estimation method, it is attempted to determine a possible 
image offset by comparing local image information in the current frame with that of the 
previous frame. To this end, a trial section (referred to as window) comprising n pixels by m 
rows is compared with equally large but locally offset windows of the previous frame. 

Now h is attempted to find that displacement for which a maximal similarity results. 
This optimization problem is solved in the block-matching method by using search strategies 
' in a search range (Koga T. et a!. : " A i . 5 Mbit/s Interframe Codec with Motion 
Compensation", Proc. Int Conf. On Commun.D 8,7.1, June 1983 Boston, MA). 

In the differential method, however, the local changes of similarity (by an "a-priori" 
estimation value) are deduced from the location of the optimum (as e.g. in the generally 
known Newton iteration method). Cafforio C; Rocca F: "The Differential Method for Image 
Motion Estimation" in Image Sequence Processing and Dynamic Scene Analysis, edited by 
T.S. Huang, Berlin, Springer Publishing Company, pp. 104-124, 1983. 

The length of the vectors is, however, not a measure of speed in this respect, but a 
distance measure, i.e. the closer an object is to the camera, the longer the vectors found will 
be. They represent the object contours, and after a suppression of the shorter vectors, the 
contours will be more prominent 
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The automatic focusing ensures that only the depth-of-focus area denoted by the ' 
arrow 2?U l^ftuply. vfhereas the background 9 is recorded out of focus and with fed* 

detail diagram of Fig. 4 shows the principle of the method. Two time-sequential 

frames of Ae left cSLl 1 1 and the right channel 12 are applied to a charge deteaor 13 and 
TZlon ertimator 14. The motion estimation result is WUe*» « ^ 
threshold 15 whose output conveys a signal for foreground and background distinction. By 
Sfco^ signal with thS output of the change detector 16 the Signals are. 

17, in moving objects of the foreground 18 andmthe 

h,r ft mino v ^Iwn motion contribates to the transmitted information to a small extent 
oSvSuset SSdS of focus. Also the operations of deriving object contours by 
S2S^SSop««. ^ WWN for suppressing low-value convolutton 

Pr ° dUa ^en W • "Konturfmdung auf der Basis des visuellen KonturempfindensMhesis, 
UniversUyofHan^ 

background of contours can even be enhanced by means of anaperture 

corr,cti^ NTZ 27 (1974) 

H4, ^stmmary, the invention allows separation of the reco^erson^ rtfa to 
fe^^ 

load of the transmission channel. In the extreme case, an arbitrary, perhaps locally generated 
background may be inserted. 
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(§) Verfahren zur Verbesserung der Bildsegmentierung einer Bildfernsprech-Szene 

Die Qbertragungsbitrate einer Bildfernsprech-Szene soil 
durch eine Bildsegmentierung herabgesetzt werden, bei der 
nur die durch das bewegte Aufnahmeobjekt dargestellte 
Vordergrundinformation zu ubertragen werden braucht. Die 
im wesentlichen stationare Hintergrundinformation kann 
einem Speicher entnommen werden. 

Zur besseren Trennung von Vordergrund- und Hintergrund- 
information werden aus dem in bekannter Weise entfer- 
nungsabhangigen Versatz der Objektkonturen zweier stere- 
oskopisch aufgenommener Fernschilder nach den bisher fur 
die Ermittlung von Bewegungsvektoren verwendeten Ver- 
fahren Entfernungsvektoren gewonnen. Fur die anschlie- 
Sende Bildverarbeitung werden lediglich Entfernungsvekto- 
ren ab einer bestimmten GroSe verwendet. Eine weitere 
— Hervorhebung des Aufnahmeobjekts ist durch lediglich den 

t Vordergrund scharf abbildende Optiken erzielbar. Auch 
kann der Vordergrund durch optische Unscharfemarkierung 
des Hintergrundes hervorgehoben werden (Fig. 3). 
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Patentanspruche 

1. Verfahren zur Verbesserung der Bildsegmentie- 
rung einer Bildfernsprech-Szene in eine durch das 
bewegte Aufnahmeobjekt dargestellten variablen 5 
Vordergrundinformation und eine im wesentlichen 
stationary nur einmal zu ubertragende Hinter- 
grundinformation, dadurch gekennzeichnet, daB 
zunachst in bekannter Weise durch zwei nebenein- 
ander angeordnete Kameras (10) zwei Fernsehbil- 10 
der des gleichen Objekts stereoskopisch aufgenom- 
men werden, daB darauf aus dem entfernungsab- 
hangigen Versatz der Konturen der beiden Bilder 
des Aufnahmeobjektes nach einem der fur die Er- 
mittlung von Bewegungsvektoren bekannten Ver- 15 
fahren jedes Bildelement mit einem Entfernungs- 
vektor versehen wird, der sich reziprok zur Entfer- 
nung der Kamera vom Aufnahmeobjekt verhalt, 
und daB fur die anschlieBende Bildverarbeitung le- 
diglich die Entfernungsvektoren ab einer bestimm- 20 
ten GroBe verwendet werden (Fig. 3). 

2. Verfahren nach Patentanspruch 1, dadurch ge- 
kennzeichnet, daB durch eine lediglich den Vorder- 
grund scharf abbildende Optik in den Aufnahmeka- 
meras eine zusatzliche Hervorhebung des Aufnah- 25 
meobjekts erreicht wird (Fig. 3). 

3. Verfahren nach den Paten tanspruchen 1 und 2, 
dadurch gekennzeichnet, daB der Vordergrund 
durch eine Unscharfemaskierung des Hintergrun- 
des hervorgehoben wird- 30 

4. Verfahren nach Patentanspruch 1, dadurch ge- 
kennzeichnet, daB die Ermittlung der Entfernungs- 
vektoren nach dem sogenannten Block-Matching- 
Verfahren erfolgt 

5. Verfahren nach Anspruch. 1, dadurch gekenn- 35 
zeichnet, daB die Ermittlung der Entfernungsvekto- 
ren mit differentiellen Methoden erfolgt. 

Beschreibung 

40 

Die Erfindung betrifft ein Verfahren nach dem Gat- 
tungsbegriff des Patentanspruchs 1. 

Die Fig. 1 verdeutlicht die Aufgabenstellung. Sie zeigt 
eine typische Bildfernsprech-Szene, die im Vordergrund 
den hier als Kreis 3 bzw. 4 dargestellten Kopf des Ge- 45 
sprachspartners enthalt, der sich in der durch den Pfeil 5 
angedeuteten Richtung bewegt, wahrend der Hinter- 
grund 1 — abgesehen von dem im folgenden behandel- 
ten Sachverhalt — unverandert bleibu Bei der Bewe- 
gung des Kopfes im Vordergrund von der gestrichelt 
gezeichneten Stellung 3 in die ausgezogene Stellung 4 
werden vorher abgedeckte Bereiche des Hintergrundes 
frei. Die Bewegung des Kopfes hat also eine Bildande- 
rung in den Bereichen 3 und 4 zur Folge. 

Einfachere Segmentierungsverfahren vermdgen zwi- 
schen stationarem Hintergrund und geanderten Berei- 
chen zu unterscheiden. Es sind aber auch bereits Seg- 
mentierungsverfahren bekannt, welche die bewegten 
Objekte von den durch die Bewegung frei werdenden 
Hintergrundbereichen trennen. (Klie, J.: "Codierung von 
Fernsehsignalen fur niedrige Obertragungsbitraten", 
Dissertation, TU Hannover, 1978). 

Die Grauwerte der geanderten Bildbereiche werden 
als relevante Information zum Empfanger ubertragen; 
der stationare Hintergrund wird - da von Bild-zu-Bild 
unverandert — einem Hintergrundspeicher entnommen 
und verursacht keine Belastung des Obertragungska- 
nals. Damit der Empfanger die geanderten und iibertra- 
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genen Bildbereiche wieder an der richtigen*Stelte in^ien 
stationaren Hintergrund einfugt, werden AbstandsmaBe 
zu einem Bildrand, sog. Adressen, mitubertragen und 
vom Empfanger ausgewertet Dieses Verfahren wird 
mit Conditional-Replenishment bezeichnet 

Der den Kanal belastende Datenstrom setzt sich also 
zusammen aus der Information, die das sich bewegende 
Objekt und den freiwerdenden Hintergrund beschreibt 
und aus der Adressierungsinformation. Um die resultie- 
rende Datenrate weiter zu reduzieren, wird in der zitier- 
ten Arbeit vorgeschlagen, die Detailauflosung innerhalb 
von sich bewegenden Objekten durch TiefpaBfilterung 
weiter zu vermindern. Es wird dabei von der Oberle- 
gung ausgegangen, daB die unscharfe Wiedergabe be- 
wegter Objekte vom Auge noch am ehesten toleriert 
wird. Das Verfahren wird so ausgebildet, daB die Tief- 
paBfilterung geschwindigkeitsgesteuert wirkt, d. ru daB 
bei geringerer Bewegung mehr Details wiedergegeben 
werden als bei heftigerer Bewegung. 

Das Verfahren hat einige Schwachen und laBt folgen- 
de Probleme ungelost: 

Die Segmentierung in Hintergrund, in bewegte und 
in geanderte Bildbereiche ist unvollkommen; so er- 
geben sich Schwierigkeiten, wenn durch die Hellig- 
keitsregelung von Videokameras im gesamten Bild 
Anderungen verursacht werden, wenn durch uber- 
lagertes Hintergrundrauschen Bewegung vorge- 
tauscht wird und wenn aufgrund von Schlagschat- 
ten im Hintergrund, die als Bild-zu-Bildanderungen 
erkannt werden, fur das Gesprach nicht relevante 
Information ubertragen werden muB. 
Die freiwerdenden Hintergrundstrukturen verur- 
sachen einen GroBteil der zu ubertragenden Bildin- 
formation. 

Werden, um die Interpolation ausgelassener Teil- 
bilder oder um einen Pradiktionsalgorithmus zu 
verbessern, Bewegungsschatzverfahren eingesetzt, 
verursachen Hintergrundstrukturen Probleme an 
Konturen von sich bewegenden Objekten. 

Die Erfindung hat zum Ziel, durch Verbesserung der 
Segmentierung diese Schwachen zu beseitigen. 

In der Fig. 5 ist eine typische Bildfernsprech-Szene in 
Draufsicht skizziert. Die das Gesprach fuhrende Person 
8 sitzt vor der aufnehmenden Kamera 6 und beobachtet 
den Gesprachspartner auf einem Sichtgerat 7. Diese 
typische Szene ist eindeutig in Vordergrund (Kopf- 
Schulterbild der sprechenden Person) 8 und Hinter- 
grund 9 einzuteilen; es besteht somit die prinzipielle 
Moglichkeit, auch mit technischen Mitteln eine Unter- 
scheidung vorzunehmen. 

Diese Unterscheidung wird durch die im Patentan- 
spruch angegebenen Merkmale herbeigefuhrt. Vorteil- 
hafte Ausgestaltungen des Segmentierungsverfahrens 
sind in den Unteranspnichen angegeben. 

Das Segmentierungsverfahren der Erfindung hat den 
Vorteil, daB eine eindeutige Identifizierung von zum 
Aufnahmeobjekt gehorenden Bildelementen durch die 
Entfernungsvektoren moglich ist und damit die durch 
Bewegung des Aufnahmeobjektes frei werdenden Teile 
des Hintergrundes aufgrund ihrer zu kleinen Entfer- 
nungsvektoren von der Bildverarbeitung ausgeschlos- 
sen werden konnen. Die zusatzlich vorgesehene beson- 
65 dere Ausbildung der Optik der Aufhahmekamera ver- 
starkt diese Wirkung. 

Im folgenden wird die Erfindung anhand von 3 Figu- 
ren naher erlautert. Es zeigen die bereits besprochene 
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Fig. 1 die Aufgabenstellung, die^g. 2 die bereits eben- 
faljs * behandelte typische Bildfernsprech-Szene in 
Draufsicht, die Fig. 3 die Kameraanordnung zur Durch- 
fiihrung des erfindungsgemaBen Verfahrens, die Fig. 4 
das zugehdrige Biockschaltbild. 5 

Die Fig. 3 zeigt eine ahnliche Bildfernsprech-Szene 
wie die Fig. 2; zum Unterschied zu dieser sind jetzt 2 
Kamcras 10 ncbeneinander angeordnet, die beide mit 
einer automatisch auf den Vordergrund fokussierbaren 
Optik versehen sind. Eine der beiden (Cameras braucht 10 
nur schwarz-weiQtauglich zu sein, sollte aber im ubrigen 
die gleichen optischen Eigenschaften wie die andere Ka- 
mera besitzen. Technische Varianten dieser prinzipiel- 
!en Anordnung, z. B. nur eine Aufnahmekamera mit 
Doppelobjektiv, sind denkbar. 15 

Bringt man die Bilder der linken und der rechten Ka- 
mera zur Deckung, so zeigt sich ein Versatz der Kontu- 
ren der aufgenommenen Objekte, wobei diejenigen des 
Vordergrundes starker gegeneinander verschoben sind 
als die des Hintergrundes. Technisch laflt sich der Ver- 20 
satz mit den gleichen Methoden ermitteln, die auch bei 
der Bewegungsschatzung zur Berechnung von Bewe- 
gungsvektoren eingesetzt werden. Hier haben sich im 
Wesentlichen die sog. Block-Matching- Verfahren und 
differentielle Methoden herauskristallisiert 25 

Beim bekannten sogenannten Displacement-Schatz- 
verfahren (Displacement, englisch fur Verschiebung), 
versucht man einen eventuellen Bildversatz durch Ver- 
gleiche lokaler Biidinformationen im aktuellen Bild mit 
denen des vorangehenden Bildes zu ermitteln. Hierzu 30 
wird ein n Bildpunkte mal m Zeilen umfassender Probe- 
ausschnitt (ein sog. Fenster) mit gleichgroBen aber ort- 
lich verschobenen Fenstern des vorhergehenden Bildes 
verglichen. 

Man versucht nun die Verschiebung zu finden, fur die 35 
sich eine moglichst groQe Ahnlichkeit ergibt Dieses Op- 
timierungsproblem wird bei sog. Block-Matching- Ver- 
fahren durch Suchstrategien in einem Suchbereich ge- 
lost(Koga,T. et al.:"A 1.5 Mbit/s Interframe-Codec with 
Motion Compensation" Proc. Int Conf. on Commun., D 40 
8,7.1. June 1983 Boston, MA). 

Bei den differentiellen Verfahren hingegen wird aus 
den lokalen Veranderungen der Ahnlichkeit (um einen 
v a-priori"-Schatzwert) auf die Lage des Optimums ge- 
schlossen (wie z. B. beim allg. bekannten Newtonschen 45 
Iterationsverfahren). Cafforio, C; Rocca, F.: "The Diffe- 
rential Method for Image Motion Estimation" in Image 
Sequence Processing and Dynamic Scene Analysis, edi- 
ted by T. S. Huang, Berlin, Springer- Verlag, pp. 
104-124,1983. 50 

Die Lange der Vektoren ist im vorliegenden Zusam- 
menhang jedoch nicht ein MaO fur die Geschwindigkeit, 
sondern ein Abstandsmafl, d. h. je naher sich ein Objekt 
zur Kamera befindet, um so langer werden die ermittel- 
ten Vektoren. Diese reprasentieren die Objektkonturen 55 
und nach einer Unterdriickung der kiirzeren Vektoren 
werden die Konturen deutlicher hervortreten. 

Durch die automatische Fokussierung ist sicherge- 
stellt, daQ lediglich der mit dem Pfeil 21 bezeichnete 
Scharfentiefebereich scharf abgebildet wird, wahrend eo 
der Hintergrund 9 unscharf und mit geringer Detailauf- 
losung aufgenommen wird. 

Das Biockschaltbild nach Fig. 4 zeigt das Verfahren- 
sprinzip. Zwei zeitlich aufeinanderfolgende Bilder des 
linken 11 und des rechten ICanals 12 werden jeweils 65 
einem Anderungsdetektor 13 und einem Bewegungs- 
schatzer 14 zugefuhrt. Das Ergebnis der Bewegungs- 
schatzung wird iiber eine adaptiv einstellbare Schwelle 



15 geleitet, an dereT^Wsgang ein Signal zur Unterschei- 
dung von Vordergrund- und Hintergrund zur Verfu- 
gung steht. Durch logische Verknupfung dieses Signals 
mit dem Ausgang des Anderungsdetektors 16 werden 
die Signale zur Unterscheidung in geanderte Bildberei- 
che 17, in bewegte Objekte des Vordergrundes 18 und in 
stationaren Hintergrund 19erzeugt. 

Somit wird der Einsatz von Bewegungsschatzverfah- 
ren erleichtert, und der bei Bewegung frciwerdende 
Hintergrund tragt, da unscharf aufgenommen, nur ge- 
ring zur ubertragenen Information bei. Auch die Ablei- 
tung von Objektkonturen durch Faltung mit einem spe- 
ziellen Operator, und Schwellenbildung zur Unterdruk- 
kung geringwertiger Faltungsprodukte wird erleichtert. 

(Geuen, W.: "Konturfindung auf der Basis des visuel- 
len Konturempfindens", Dissertation, Univ. Hannover, 
1983) 

Der Effekt "scharf umrissene Konturen der sprechen- 
den Person und unscharfer Hintergrund" und das Her- 
vorheben von Konturen laBt sich durch eine Apertur- 
korrektur, bzw. durch eine Unscharfmaskierung noch 
verstarken. 

Arp, F.: "Normgerechte Aperturkorrektur von Farb- 
f ernsehsignalen". NTZ 27(1 974) H. 4, S. 1 34 - 1 38. 

Insgesamt erlaubt die Erfindung eine Trennung der 
aufgenommenen Person mit den ihr zugeordneten Ein- 
richtungsgegenstanden vom Hintergrund. Durch diese 
Unterscheidung kann eine Aussage getroffen werden, 
welche der geanderten Bildbereiche zum Hintergrund 
gehoren. Sie werden, einmal tibertragen, in einen Hin- 
tergrundspeicher abgelegt und, wenn sie im Verlauf des 
Gespraches erneut frei werden, diesem entnommen; sie 
fuhren somit zu keiner weiteren Belastung des Obertra- 
gungskanals. Im Extremfall kann auch ein beliebiger, 
vielleicht ortlich erzeugter Hintergrund eingeblendet 
werden. 
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